合成数据何时有害：LLM Agent技能检索中的灾难性遗忘
🧭 LLM Agent 技能检索 · LoRA 遗忘缓解 ★ 深度解读
Manulife
在34,396技能规模上，朴素LoRA合成数据微调会遗忘真实/OOD任务；保守正则可保持OOD并提升分布内召回13.98%。
📌 工作参考价值（4 点）
- 在电商/广告召回或相关性模型微调中，真实点击/转化标注通常远少于曝光；若用LLM合成训练样本，优先选择低秩保守LoRA（如r=8、attn-only、lr=5e-6）并加LwF/EWC/anchor/L2-init正则，可降低真实流量OOD掉点风险。
- 上线评估必须拆OOD真实query：不能只看合成集指标。论文中激进LoRA在合成Ring提升，但真实Ring 3 Recall@10从0.850跌至0.650；因此要单独监控自然流量、长尾类目、未参与训练的场景。
- 轻量0.6B bi-encoder在技能检索上可匹配4B+BM25 hybrid（HIT@10=0.907），搜索/推荐召回侧可用小模型+FAISS降低成本；微调稳定性主要由LoRA rank控制，anchor weight影响较小，优先调rank。
- retriever与reranker分数融合可采用per-query min-max归一化后线性加权α；BM25等稀疏召回用RRF融合，避免不同分数尺度校准问题。
揭秘 Agent 技能：为何有效，直到失效
🧭 Agent 技能效用与失效机制评估 ★ 深度解读
Princeton University · UC San Diego · Stanford University · University of Southern California · Johns Hopkins University
用 8135 条轨迹的对照分析提出 3 类/12 模式技能效用分类，证明技能主要靠程序锚定而非知识注入
📌 工作参考价值（4 点）
- 在推荐/Agent 系统中，把历史成功/失败轨迹蒸馏成紧凑的程序性技能卡（步骤、检查点、坑位），比直接注入原始 workflow memory 成功率更高；尤其适合环境搭建、输出 schema、服务生命周期等可复用操作，可优先沉淀。
- 检索与执行解耦：skill pool 变大或混淆度高时，离线 top-1 命中率下降但下游成功率未必崩；不要只优化离线命中率，要监控执行时实际调用 ground-truth skill 的 precision/recall，并允许 agent 调用相关但非 ground-truth 的技能。
- 失败模式要显式建模：技能可能被机械套用或忽略（skill_guidance_misapplied 约 10%），而 workflow memory 常见 timeout/budget 过载；建议在技能执行层增加适用性判断、运行时验证与放弃机制。
- 生成技能时保留成功/失败 outcome 标注：一旦轨迹池里混入失败样本，去掉标注会显著掉点；在经验回放 / skill distillation 中应保留结果信号。